神经网络（NNS）已成功地用于代表复杂动力学系统的状态演变。这样的模型，称为NN动态模型（NNDMS），使用NN的迭代噪声预测来估计随时间推移系统轨迹的分布。尽管它们的准确性，但对NNDMS的安全分析仍然是一个具有挑战性的问题，并且在很大程度上尚未探索。为了解决这个问题，在本文中，我们介绍了一种为NNDM提供安全保证的方法。我们的方法基于随机屏障函数，其与安全性的关系类似于Lyapunov功能的稳定性。我们首先展示了通过凸优化问题合成NNDMS随机屏障函数的方法，该问题又为系统的安全概率提供了下限。我们方法中的一个关键步骤是，NNS的最新凸近似结果的利用是找到零件线性边界，这允许将屏障函数合成问题作为一个方形优化程序的制定。如果获得的安全概率高于所需的阈值，则该系统将获得认证。否则，我们引入了一种生成控制系统的方法，该系统以最小的侵入性方式稳健地最大化安全概率。我们利用屏障函数的凸属性来提出最佳控制合成问题作为线性程序。实验结果说明了该方法的功效。即，他们表明该方法可以扩展到具有多层和数百个神经元的多维NNDM，并且控制器可以显着提高安全性概率。
translated by 谷歌翻译
在简短的说明中，我们提出了一种量化全面训练神经网络的权重的新方法。一个简单的确定性预处理步骤使我们能够通过无内存标量量化量化网络层，同时保留给定培训数据的网络性能。一方面，此预处理的计算复杂性略微超过了文献中最先进的算法。另一方面，我们的方法不需要任何高参数调整，与以前的方法相反，可以进行简单的分析。在量化单个网络层的情况下，我们提供了严格的理论保证，并表明如果训练数据的行为良好，例如，相对误差会随着网络中的参数数量而衰减，例如，如果它是从合适的随机分布中取样的。开发的方法还易于通过连续应用到单层来量化深网。
translated by 谷歌翻译
手术场景的语义分割是机器人辅助干预措施中任务自动化的先决条件。我们提出了LapseG3D，这是一种基于DNN的新方法，用于代表手术场景的点云的素云注释。由于训练数据的手动注释非常耗时，因此我们引入了一条半自治的基于聚类的管道，用于胆囊的注释，该管道用于为DNN生成分段标签。当对手动注释数据进行评估时，LapseG3D在前体猪肝的各种数据集上的胆囊分割达到了0.94的F1得分。我们显示LapseG3D可以准确地跨越具有不同RGB-D摄像机系统记录的不同胆囊和数据集。
translated by 谷歌翻译
2022-01-26
尽管神经网络在各种应用程序中取得了非常成功的成功，但在资源受限的硬件中实施它们仍然是一项激烈研究的领域。通过用量化的（例如4位或二进制）对应物代替神经网络的权重，可以实现大量的计算成本，记忆和功耗。为此，我们概括了一种基于贪婪的路径跟踪机制的训练后神经网络量化方法GPFQ。除其他外，我们提出了修改以促进权重的稀疏性，并严格分析相关的错误。此外，我们的错误分析扩展了GPFQ上先前工作的结果以处理一般量化字母，表明对于量化单层网络，相对方误差基本上是在权重的数量上线性衰减的，即过度参数水平。我们的结果始于一系列输入分布以及完全连接和卷积架构，从而扩大了先前的结果。为了通过经验评估该方法，我们对几个平均重量很少的几个常见体系结构进行量化，并在Imagenet上测试它们，与非量化模型相比仅显示准确性较小。我们还证明了标准修改，例如偏置校正和混合精度量化，进一步提高了准确性。
translated by 谷歌翻译
众所周知，进食前馈神经网络的学习速度很慢，并且在深度学习应用中呈现了几十年的瓶颈。例如，广泛用于训练神经网络的基于梯度的学习算法在所有网络参数都必须迭代调整时往往会缓慢起作用。为了解决这个问题，研究人员和从业人员都尝试引入随机性来减少学习要求。基于Igelnik和Pao的原始结构，具有随机输入层的重量和偏见的单层神经网络在实践中取得了成功，但是缺乏必要的理论理由。在本文中，我们开始填补这一理论差距。我们提供了一个（校正的）严格证明，即Igelnik和PAO结构是连续函数在紧凑型域上连续函数的通用近似值，并且近似错误渐近地衰减，例如$ o（1/\ sqrt {n}）网络节点。然后，我们将此结果扩展到非反应设置，证明人们可以在$ n $的情况下实现任何理想的近似误差，而概率很大。我们进一步调整了这种随机神经网络结构，以近似欧几里得空间的平滑，紧凑的亚曼叶量的功能，从而在渐近和非催化形式的理论保证中提供了理论保证。最后，我们通过数值实验说明了我们在歧管上的结果。
translated by 谷歌翻译